Version- and Scope-Aware Question Answering over Normative Documents: A Deployed System and an End-to-End Evaluation at Production Scale
规范文档问答的版本与适用范围感知系统及生产规模评估
🧭 规范RAG · 版本与范围治理
Beijing Caizhi Technology Co., Ltd. · dknownAI
将显式版本与适用范围规则置于生成前，使规范文档问答得分从88.1提升至97.7
📌 工作参考价值（4 点）
- 对业务知识库问答（平台规则、政策、广告合规）不能只用向量检索 + LLM 生成：必须显式解析文档的生效版本、适用主体/地区/日期，过滤不适用文档后再生成。可直接建模为元数据规则层置于检索与生成之间。
- 生产级评估避免“拿测试集调参”：分层抽样 200 题、每题绑定 gold 源文档、采样规则不读系统输出，能客观对比不同 RAG 架构；建议业务方也公开部分标注与脚本。
- 若托管检索服务作为 baseline 得分 88.1，治理系统提升 9.6 点，说明规则性 scope/version 错误是主要损失，值得优先投入。
- 商业化部署已经验证多租户稳定性（1,126 用户、约 10 万 calls/workday），架构上治理规则应可配置、可追踪，而非写死在 prompt 里。